Following the Preference, Missing the Optimum: Compliance Without Optimization in AI Housing Recommendation
跟随偏好却错失最优：AI住房推荐的合规无优化审计
🧭 LLM推荐系统审计与优化缺陷诊断
Harvard University · Independent Researcher
大规模审计发现LLM在住房推荐中几乎完美遵守硬约束，但39%的推荐被同池中更优选项严格支配
📌 工作参考价值（4 点）
- 在电商/推荐场景中，对LLM推荐不要只检查约束合规，应引入支配性检测：从候选池中计算被严格支配的比例，作为线上部署前的诊断指标，可提前暴露“只满足条件但非最优”的问题。
- 将LLM作为推荐器时，需要显式的优化目标或后处理层：论文显示仅靠自然语言指令无法让模型自动寻找更便宜/更快的选项，可在LLM输出后用规则或排序模型在满足约束的候选中选择Pareto最优项。
- 大规模候选集会放大优化差距（候选集越大，LLM推荐与最优的租金差距越大），因此在大规模召回的电商/广告场景中，应先用检索或粗排缩小候选集，再让LLM做精细推荐，避免直接让LLM面对海量候选。
- 该审计成本极低（约57美元完成近万次调用），可在业务中构建自动化评估管道，用真实商品/广告库存定期审计LLM推荐质量，监测是否出现“合规但不优化”的漂移。